Amazon S3
https://gyazo.com/5bb69e562f3c29081b53138ac9a94573
正式名称は
Amazon Simple Storage Service
概要
AWSでシステム構築するときにはほぼ間違いなく使うService
S3 bucketの中にあらゆる形式のfile (S3では Objectと呼ぶ) を格納することが可能 特徴
容量無制限（1ファイル最大５TBまで）
99.9999999999%の堅牢性
1GB/約2~4円という安価さ。
データ容量に依存しないスケーラブルな性能。
機能も似ている
一つ一つのobjectに「URL」が存在する
URLを共有すれば任意の人にサクッとファイルを共有できる Google driveじゃできないこともある
現場での実際の利用例
Systemの「利用頻度の低いData」の保存場所
AWSが提供する「Data保存場所」ではもっとも安いため
よくaccessするDataは他で管理する
S3 Bucket を新設するとき
絶対に守るルール
Tips
S3 bucketを使う時
S3関連の用語
Object
S3 bucketに保存された一つ一つのFileのこと
Fileは例えば.zip、.pdf、.mov、.mp4、.csv、.txt、.parquet……などなど
S3 bucketにいくらでも入れられる
Objectの保存場所。
保存するには必ず「S3 bucket」が必要
名付けが必要。重要
S3 bucket名は「全てのAWS userが作ったS3 bucketのなかでunique」である必要がある
S3 bucket名はそのままURLに入るため。
例）s3:::/np-datalake
当時「np-datalake」という名前が使われていなかったので作成できた
例）s3://aws-athena-query-results-123456789012-us-west-1
特にLog 保管用ではこの名付けが多い
1 accountなので、accountを増やせば上限も超えられる
基本この対応でいける
ただし、100以上にすることも可能
キー
オブジェクト固有の識別子(オブジェクトの名前)。
オブジェクトにはウェブサービスエンドポイント、バケット名、キー、(およびオプションでバージョン)を組み合わせることで一意にアクセスすることができる。
アクセスコントロールリスト（ACL）
バケットやオブジェクトのアクセス管理
参考文献